Giản Văn đế khi lên ngôi đã ngoài 50 tuổi và ốm yếu. Được hơn 1 năm (372), Giản Văn Đế ốm nặng, cho triệu Hoàn Ôn về triều, với nội dung thư:"Việc nước nhà Tư Mã[2] sẽ do Gia Cát Vũ hầu[3] và Vương Đạo lo liệu"

Hoàn Ôn đinh ninh Giản Văn đế nhường ngôi cho mình, nhưng khi nhận thư thì rất thất vọng, vì vua Tấn ví ông như Gia Cát Lượng là người tận tuỵ suốt đời để phò thái tử nhà Thục Hán. Dù muốn giành ngôi nhưng Hoàn Ôn liệu thế cơ hội chưa đủ, lòng nhiều người chưa phục, và bản thân ông cũng đã già yếu nên không dám thực hiện.

Con Giản Văn Đế là Tư Mã Diệu lên ngôi, tức là Tấn Hiếu Vũ Đế. Tháng 2 năm 373, ông về kinh sắp đặt công việc, nhiều người lo ngại bị ông làm hại, nhưng Hoàn Ôn cũng liệu thế nên giữ mình nên không giết hại ai cả.

Tháng 3 năm 373, Hoàn Ôn lâm bệnh, tới tháng 7 ông mất ở Cổ Quách, thọ 62 tuổi.

Khi ông mất, con trai là Hoàn Huyền con nhỏ. Ba mươi năm sau, Hoàn Huyền nối chí cha lại trở thành quyền thần nhà Đông Tấn, thực hiện việc cướp ngôi nhà Tấn, lập ra nhà Sở trong một thời gian.